home *** CD-ROM | disk | FTP | other *** search
/ PC Open 107 / PC Open 107 CD 1.bin / CD1 / INTERNET / EMAIL / pop file / setup.exe / $_1_ / XML / xmltok_impl.c < prev    next >
Encoding:
C/C++ Source or Header  |  2004-06-01  |  42.8 KB  |  1,791 lines
  1. /*
  2. The contents of this file are subject to the Mozilla Public License
  3. Version 1.1 (the "License"); you may not use this file except in
  4. compliance with the License. You may obtain a copy of the License at
  5. http://www.mozilla.org/MPL/
  6.  
  7. Software distributed under the License is distributed on an "AS IS"
  8. basis, WITHOUT WARRANTY OF ANY KIND, either express or implied. See the
  9. License for the specific language governing rights and limitations
  10. under the License.
  11.  
  12. The Original Code is expat.
  13.  
  14. The Initial Developer of the Original Code is James Clark.
  15. Portions created by James Clark are Copyright (C) 1998, 1999
  16. James Clark. All Rights Reserved.
  17.  
  18. Contributor(s):
  19.  
  20. Alternatively, the contents of this file may be used under the terms
  21. of the GNU General Public License (the "GPL"), in which case the
  22. provisions of the GPL are applicable instead of those above.  If you
  23. wish to allow use of your version of this file only under the terms of
  24. the GPL and not to allow others to use your version of this file under
  25. the MPL, indicate your decision by deleting the provisions above and
  26. replace them with the notice and other provisions required by the
  27. GPL. If you do not delete the provisions above, a recipient may use
  28. your version of this file under either the MPL or the GPL.
  29. */
  30.  
  31. #ifndef IS_INVALID_CHAR
  32. #define IS_INVALID_CHAR(enc, ptr, n) (0)
  33. #endif
  34.  
  35. #define INVALID_LEAD_CASE(n, ptr, nextTokPtr) \
  36.     case BT_LEAD ## n: \
  37.       if (end - ptr < n) \
  38.     return XML_TOK_PARTIAL_CHAR; \
  39.       if (IS_INVALID_CHAR(enc, ptr, n)) { \
  40.         *(nextTokPtr) = (ptr); \
  41.         return XML_TOK_INVALID; \
  42.       } \
  43.       ptr += n; \
  44.       break;
  45.  
  46. #define INVALID_CASES(ptr, nextTokPtr) \
  47.   INVALID_LEAD_CASE(2, ptr, nextTokPtr) \
  48.   INVALID_LEAD_CASE(3, ptr, nextTokPtr) \
  49.   INVALID_LEAD_CASE(4, ptr, nextTokPtr) \
  50.   case BT_NONXML: \
  51.   case BT_MALFORM: \
  52.   case BT_TRAIL: \
  53.     *(nextTokPtr) = (ptr); \
  54.     return XML_TOK_INVALID;
  55.  
  56. #define CHECK_NAME_CASE(n, enc, ptr, end, nextTokPtr) \
  57.    case BT_LEAD ## n: \
  58.      if (end - ptr < n) \
  59.        return XML_TOK_PARTIAL_CHAR; \
  60.      if (!IS_NAME_CHAR(enc, ptr, n)) { \
  61.        *nextTokPtr = ptr; \
  62.        return XML_TOK_INVALID; \
  63.      } \
  64.      ptr += n; \
  65.      break;
  66.  
  67. #define CHECK_NAME_CASES(enc, ptr, end, nextTokPtr) \
  68.   case BT_NONASCII: \
  69.     if (!IS_NAME_CHAR_MINBPC(enc, ptr)) { \
  70.       *nextTokPtr = ptr; \
  71.       return XML_TOK_INVALID; \
  72.     } \
  73.   case BT_NMSTRT: \
  74.   case BT_HEX: \
  75.   case BT_DIGIT: \
  76.   case BT_NAME: \
  77.   case BT_MINUS: \
  78.     ptr += MINBPC(enc); \
  79.     break; \
  80.   CHECK_NAME_CASE(2, enc, ptr, end, nextTokPtr) \
  81.   CHECK_NAME_CASE(3, enc, ptr, end, nextTokPtr) \
  82.   CHECK_NAME_CASE(4, enc, ptr, end, nextTokPtr)
  83.  
  84. #define CHECK_NMSTRT_CASE(n, enc, ptr, end, nextTokPtr) \
  85.    case BT_LEAD ## n: \
  86.      if (end - ptr < n) \
  87.        return XML_TOK_PARTIAL_CHAR; \
  88.      if (!IS_NMSTRT_CHAR(enc, ptr, n)) { \
  89.        *nextTokPtr = ptr; \
  90.        return XML_TOK_INVALID; \
  91.      } \
  92.      ptr += n; \
  93.      break;
  94.  
  95. #define CHECK_NMSTRT_CASES(enc, ptr, end, nextTokPtr) \
  96.   case BT_NONASCII: \
  97.     if (!IS_NMSTRT_CHAR_MINBPC(enc, ptr)) { \
  98.       *nextTokPtr = ptr; \
  99.       return XML_TOK_INVALID; \
  100.     } \
  101.   case BT_NMSTRT: \
  102.   case BT_HEX: \
  103.     ptr += MINBPC(enc); \
  104.     break; \
  105.   CHECK_NMSTRT_CASE(2, enc, ptr, end, nextTokPtr) \
  106.   CHECK_NMSTRT_CASE(3, enc, ptr, end, nextTokPtr) \
  107.   CHECK_NMSTRT_CASE(4, enc, ptr, end, nextTokPtr)
  108.  
  109. #ifndef PREFIX
  110. #define PREFIX(ident) ident
  111. #endif
  112.  
  113. /* ptr points to character following "<!-" */
  114.  
  115. static
  116. int PREFIX(scanComment)(const ENCODING *enc, const char *ptr, const char *end,
  117.             const char **nextTokPtr)
  118. {
  119.   if (ptr != end) {
  120.     if (!CHAR_MATCHES(enc, ptr, ASCII_MINUS)) {
  121.       *nextTokPtr = ptr;
  122.       return XML_TOK_INVALID;
  123.     }
  124.     ptr += MINBPC(enc);
  125.     while (ptr != end) {
  126.       switch (BYTE_TYPE(enc, ptr)) {
  127.       INVALID_CASES(ptr, nextTokPtr)
  128.       case BT_MINUS:
  129.     if ((ptr += MINBPC(enc)) == end)
  130.       return XML_TOK_PARTIAL;
  131.     if (CHAR_MATCHES(enc, ptr, ASCII_MINUS)) {
  132.       if ((ptr += MINBPC(enc)) == end)
  133.         return XML_TOK_PARTIAL;
  134.       if (!CHAR_MATCHES(enc, ptr, ASCII_GT)) {
  135.         *nextTokPtr = ptr;
  136.         return XML_TOK_INVALID;
  137.       }
  138.       *nextTokPtr = ptr + MINBPC(enc);
  139.       return XML_TOK_COMMENT;
  140.     }
  141.     break;
  142.       default:
  143.     ptr += MINBPC(enc);
  144.     break;
  145.       }
  146.     }
  147.   }
  148.   return XML_TOK_PARTIAL;
  149. }
  150.  
  151. /* ptr points to character following "<!" */
  152.  
  153. static
  154. int PREFIX(scanDecl)(const ENCODING *enc, const char *ptr, const char *end,
  155.              const char **nextTokPtr)
  156. {
  157.   if (ptr == end)
  158.     return XML_TOK_PARTIAL;
  159.   switch (BYTE_TYPE(enc, ptr)) {
  160.   case BT_MINUS:
  161.     return PREFIX(scanComment)(enc, ptr + MINBPC(enc), end, nextTokPtr);
  162.   case BT_LSQB:
  163.     *nextTokPtr = ptr + MINBPC(enc);
  164.     return XML_TOK_COND_SECT_OPEN;
  165.   case BT_NMSTRT:
  166.   case BT_HEX:
  167.     ptr += MINBPC(enc);
  168.     break;
  169.   default:
  170.     *nextTokPtr = ptr;
  171.     return XML_TOK_INVALID;
  172.   }
  173.   while (ptr != end) {
  174.     switch (BYTE_TYPE(enc, ptr)) {
  175.     case BT_PERCNT:
  176.       if (ptr + MINBPC(enc) == end)
  177.     return XML_TOK_PARTIAL;
  178.       /* don't allow <!ENTITY% foo "whatever"> */
  179.       switch (BYTE_TYPE(enc, ptr + MINBPC(enc))) {
  180.       case BT_S: case BT_CR: case BT_LF: case BT_PERCNT:
  181.     *nextTokPtr = ptr;
  182.     return XML_TOK_INVALID;
  183.       }
  184.       /* fall through */
  185.     case BT_S: case BT_CR: case BT_LF:
  186.       *nextTokPtr = ptr;
  187.       return XML_TOK_DECL_OPEN;
  188.     case BT_NMSTRT:
  189.     case BT_HEX:
  190.       ptr += MINBPC(enc);
  191.       break;
  192.     default:
  193.       *nextTokPtr = ptr;
  194.       return XML_TOK_INVALID;
  195.     }
  196.   }
  197.   return XML_TOK_PARTIAL;
  198. }
  199.  
  200. static
  201. int PREFIX(checkPiTarget)(const ENCODING *enc, const char *ptr, const char *end, int *tokPtr)
  202. {
  203.   int upper = 0;
  204.   *tokPtr = XML_TOK_PI;
  205.   if (end - ptr != MINBPC(enc)*3)
  206.     return 1;
  207.   switch (BYTE_TO_ASCII(enc, ptr)) {
  208.   case ASCII_x:
  209.     break;
  210.   case ASCII_X:
  211.     upper = 1;
  212.     break;
  213.   default:
  214.     return 1;
  215.   }
  216.   ptr += MINBPC(enc);
  217.   switch (BYTE_TO_ASCII(enc, ptr)) {
  218.   case ASCII_m:
  219.     break;
  220.   case ASCII_M:
  221.     upper = 1;
  222.     break;
  223.   default:
  224.     return 1;
  225.   }
  226.   ptr += MINBPC(enc);
  227.   switch (BYTE_TO_ASCII(enc, ptr)) {
  228.   case ASCII_l:
  229.     break;
  230.   case ASCII_L:
  231.     upper = 1;
  232.     break;
  233.   default:
  234.     return 1;
  235.   }
  236.   if (upper)
  237.     return 0;
  238.   *tokPtr = XML_TOK_XML_DECL;
  239.   return 1;
  240. }
  241.  
  242. /* ptr points to character following "<?" */
  243.  
  244. static
  245. int PREFIX(scanPi)(const ENCODING *enc, const char *ptr, const char *end,
  246.            const char **nextTokPtr)
  247. {
  248.   int tok;
  249.   const char *target = ptr;
  250.   if (ptr == end)
  251.     return XML_TOK_PARTIAL;
  252.   switch (BYTE_TYPE(enc, ptr)) {
  253.   CHECK_NMSTRT_CASES(enc, ptr, end, nextTokPtr)
  254.   default:
  255.     *nextTokPtr = ptr;
  256.     return XML_TOK_INVALID;
  257.   }
  258.   while (ptr != end) {
  259.     switch (BYTE_TYPE(enc, ptr)) {
  260.     CHECK_NAME_CASES(enc, ptr, end, nextTokPtr)
  261.     case BT_S: case BT_CR: case BT_LF:
  262.       if (!PREFIX(checkPiTarget)(enc, target, ptr, &tok)) {
  263.     *nextTokPtr = ptr;
  264.     return XML_TOK_INVALID;
  265.       }
  266.       ptr += MINBPC(enc);
  267.       while (ptr != end) {
  268.         switch (BYTE_TYPE(enc, ptr)) {
  269.         INVALID_CASES(ptr, nextTokPtr)
  270.     case BT_QUEST:
  271.       ptr += MINBPC(enc);
  272.       if (ptr == end)
  273.         return XML_TOK_PARTIAL;
  274.       if (CHAR_MATCHES(enc, ptr, ASCII_GT)) {
  275.         *nextTokPtr = ptr + MINBPC(enc);
  276.         return tok;
  277.       }
  278.       break;
  279.     default:
  280.       ptr += MINBPC(enc);
  281.       break;
  282.     }
  283.       }
  284.       return XML_TOK_PARTIAL;
  285.     case BT_QUEST:
  286.       if (!PREFIX(checkPiTarget)(enc, target, ptr, &tok)) {
  287.     *nextTokPtr = ptr;
  288.     return XML_TOK_INVALID;
  289.       }
  290.       ptr += MINBPC(enc);
  291.       if (ptr == end)
  292.     return XML_TOK_PARTIAL;
  293.       if (CHAR_MATCHES(enc, ptr, ASCII_GT)) {
  294.     *nextTokPtr = ptr + MINBPC(enc);
  295.     return tok;
  296.       }
  297.       /* fall through */
  298.     default:
  299.       *nextTokPtr = ptr;
  300.       return XML_TOK_INVALID;
  301.     }
  302.   }
  303.   return XML_TOK_PARTIAL;
  304. }
  305.  
  306.  
  307. static
  308. int PREFIX(scanCdataSection)(const ENCODING *enc, const char *ptr, const char *end,
  309.                  const char **nextTokPtr)
  310. {
  311.   static const char CDATA_LSQB[] = { ASCII_C, ASCII_D, ASCII_A, ASCII_T, ASCII_A, ASCII_LSQB };
  312.   int i;
  313.   /* CDATA[ */
  314.   if (end - ptr < 6 * MINBPC(enc))
  315.     return XML_TOK_PARTIAL;
  316.   for (i = 0; i < 6; i++, ptr += MINBPC(enc)) {
  317.     if (!CHAR_MATCHES(enc, ptr, CDATA_LSQB[i])) {
  318.       *nextTokPtr = ptr;
  319.       return XML_TOK_INVALID;
  320.     }
  321.   }
  322.   *nextTokPtr = ptr;
  323.   return XML_TOK_CDATA_SECT_OPEN;
  324. }
  325.  
  326. static
  327. int PREFIX(cdataSectionTok)(const ENCODING *enc, const char *ptr, const char *end,
  328.                 const char **nextTokPtr)
  329. {
  330.   if (ptr == end)
  331.     return XML_TOK_NONE;
  332.   if (MINBPC(enc) > 1) {
  333.     size_t n = end - ptr;
  334.     if (n & (MINBPC(enc) - 1)) {
  335.       n &= ~(MINBPC(enc) - 1);
  336.       if (n == 0)
  337.     return XML_TOK_PARTIAL;
  338.       end = ptr + n;
  339.     }
  340.   }
  341.   switch (BYTE_TYPE(enc, ptr)) {
  342.   case BT_RSQB:
  343.     ptr += MINBPC(enc);
  344.     if (ptr == end)
  345.       return XML_TOK_PARTIAL;
  346.     if (!CHAR_MATCHES(enc, ptr, ASCII_RSQB))
  347.       break;
  348.     ptr += MINBPC(enc);
  349.     if (ptr == end)
  350.       return XML_TOK_PARTIAL;
  351.     if (!CHAR_MATCHES(enc, ptr, ASCII_GT)) {
  352.       ptr -= MINBPC(enc);
  353.       break;
  354.     }
  355.     *nextTokPtr = ptr + MINBPC(enc);
  356.     return XML_TOK_CDATA_SECT_CLOSE;
  357.   case BT_CR:
  358.     ptr += MINBPC(enc);
  359.     if (ptr == end)
  360.       return XML_TOK_PARTIAL;
  361.     if (BYTE_TYPE(enc, ptr) == BT_LF)
  362.       ptr += MINBPC(enc);
  363.     *nextTokPtr = ptr;
  364.     return XML_TOK_DATA_NEWLINE;
  365.   case BT_LF:
  366.     *nextTokPtr = ptr + MINBPC(enc);
  367.     return XML_TOK_DATA_NEWLINE;
  368.   INVALID_CASES(ptr, nextTokPtr)
  369.   default:
  370.     ptr += MINBPC(enc);
  371.     break;
  372.   }
  373.   while (ptr != end) {
  374.     switch (BYTE_TYPE(enc, ptr)) {
  375. #define LEAD_CASE(n) \
  376.     case BT_LEAD ## n: \
  377.       if (end - ptr < n || IS_INVALID_CHAR(enc, ptr, n)) { \
  378.     *nextTokPtr = ptr; \
  379.     return XML_TOK_DATA_CHARS; \
  380.       } \
  381.       ptr += n; \
  382.       break;
  383.     LEAD_CASE(2) LEAD_CASE(3) LEAD_CASE(4)
  384. #undef LEAD_CASE
  385.     case BT_NONXML:
  386.     case BT_MALFORM:
  387.     case BT_TRAIL:
  388.     case BT_CR:
  389.     case BT_LF:
  390.     case BT_RSQB:
  391.       *nextTokPtr = ptr;
  392.       return XML_TOK_DATA_CHARS;
  393.     default:
  394.       ptr += MINBPC(enc);
  395.       break;
  396.     }
  397.   }
  398.   *nextTokPtr = ptr;
  399.   return XML_TOK_DATA_CHARS;
  400. }
  401.  
  402. /* ptr points to character following "</" */
  403.  
  404. static
  405. int PREFIX(scanEndTag)(const ENCODING *enc, const char *ptr, const char *end,
  406.                const char **nextTokPtr)
  407. {
  408.   if (ptr == end)
  409.     return XML_TOK_PARTIAL;
  410.   switch (BYTE_TYPE(enc, ptr)) {
  411.   CHECK_NMSTRT_CASES(enc, ptr, end, nextTokPtr)
  412.   default:
  413.     *nextTokPtr = ptr;
  414.     return XML_TOK_INVALID;
  415.   }
  416.   while (ptr != end) {
  417.     switch (BYTE_TYPE(enc, ptr)) {
  418.     CHECK_NAME_CASES(enc, ptr, end, nextTokPtr)
  419.     case BT_S: case BT_CR: case BT_LF:
  420.       for (ptr += MINBPC(enc); ptr != end; ptr += MINBPC(enc)) {
  421.     switch (BYTE_TYPE(enc, ptr)) {
  422.     case BT_S: case BT_CR: case BT_LF:
  423.       break;
  424.     case BT_GT:
  425.       *nextTokPtr = ptr + MINBPC(enc);
  426.           return XML_TOK_END_TAG;
  427.     default:
  428.       *nextTokPtr = ptr;
  429.       return XML_TOK_INVALID;
  430.     }
  431.       }
  432.       return XML_TOK_PARTIAL;
  433. #ifdef XML_NS
  434.     case BT_COLON:
  435.       /* no need to check qname syntax here, since end-tag must match exactly */
  436.       ptr += MINBPC(enc);
  437.       break;
  438. #endif
  439.     case BT_GT:
  440.       *nextTokPtr = ptr + MINBPC(enc);
  441.       return XML_TOK_END_TAG;
  442.     default:
  443.       *nextTokPtr = ptr;
  444.       return XML_TOK_INVALID;
  445.     }
  446.   }
  447.   return XML_TOK_PARTIAL;
  448. }
  449.  
  450. /* ptr points to character following "&#X" */
  451.  
  452. static
  453. int PREFIX(scanHexCharRef)(const ENCODING *enc, const char *ptr, const char *end,
  454.                const char **nextTokPtr)
  455. {
  456.   if (ptr != end) {
  457.     switch (BYTE_TYPE(enc, ptr)) {
  458.     case BT_DIGIT:
  459.     case BT_HEX:
  460.       break;
  461.     default:
  462.       *nextTokPtr = ptr;
  463.       return XML_TOK_INVALID;
  464.     }
  465.     for (ptr += MINBPC(enc); ptr != end; ptr += MINBPC(enc)) {
  466.       switch (BYTE_TYPE(enc, ptr)) {
  467.       case BT_DIGIT:
  468.       case BT_HEX:
  469.     break;
  470.       case BT_SEMI:
  471.     *nextTokPtr = ptr + MINBPC(enc);
  472.     return XML_TOK_CHAR_REF;
  473.       default:
  474.     *nextTokPtr = ptr;
  475.     return XML_TOK_INVALID;
  476.       }
  477.     }
  478.   }
  479.   return XML_TOK_PARTIAL;
  480. }
  481.  
  482. /* ptr points to character following "&#" */
  483.  
  484. static
  485. int PREFIX(scanCharRef)(const ENCODING *enc, const char *ptr, const char *end,
  486.             const char **nextTokPtr)
  487. {
  488.   if (ptr != end) {
  489.     if (CHAR_MATCHES(enc, ptr, ASCII_x))
  490.       return PREFIX(scanHexCharRef)(enc, ptr + MINBPC(enc), end, nextTokPtr);
  491.     switch (BYTE_TYPE(enc, ptr)) {
  492.     case BT_DIGIT:
  493.       break;
  494.     default:
  495.       *nextTokPtr = ptr;
  496.       return XML_TOK_INVALID;
  497.     }
  498.     for (ptr += MINBPC(enc); ptr != end; ptr += MINBPC(enc)) {
  499.       switch (BYTE_TYPE(enc, ptr)) {
  500.       case BT_DIGIT:
  501.     break;
  502.       case BT_SEMI:
  503.     *nextTokPtr = ptr + MINBPC(enc);
  504.     return XML_TOK_CHAR_REF;
  505.       default:
  506.     *nextTokPtr = ptr;
  507.     return XML_TOK_INVALID;
  508.       }
  509.     }
  510.   }
  511.   return XML_TOK_PARTIAL;
  512. }
  513.  
  514. /* ptr points to character following "&" */
  515.  
  516. static
  517. int PREFIX(scanRef)(const ENCODING *enc, const char *ptr, const char *end,
  518.             const char **nextTokPtr)
  519. {
  520.   if (ptr == end)
  521.     return XML_TOK_PARTIAL;
  522.   switch (BYTE_TYPE(enc, ptr)) {
  523.   CHECK_NMSTRT_CASES(enc, ptr, end, nextTokPtr)
  524.   case BT_NUM:
  525.     return PREFIX(scanCharRef)(enc, ptr + MINBPC(enc), end, nextTokPtr);
  526.   default:
  527.     *nextTokPtr = ptr;
  528.     return XML_TOK_INVALID;
  529.   }
  530.   while (ptr != end) {
  531.     switch (BYTE_TYPE(enc, ptr)) {
  532.     CHECK_NAME_CASES(enc, ptr, end, nextTokPtr)
  533.     case BT_SEMI:
  534.       *nextTokPtr = ptr + MINBPC(enc);
  535.       return XML_TOK_ENTITY_REF;
  536.     default:
  537.       *nextTokPtr = ptr;
  538.       return XML_TOK_INVALID;
  539.     }
  540.   }
  541.   return XML_TOK_PARTIAL;
  542. }
  543.  
  544. /* ptr points to character following first character of attribute name */
  545.  
  546. static
  547. int PREFIX(scanAtts)(const ENCODING *enc, const char *ptr, const char *end,
  548.              const char **nextTokPtr)
  549. {
  550. #ifdef XML_NS
  551.   int hadColon = 0;
  552. #endif
  553.   while (ptr != end) {
  554.     switch (BYTE_TYPE(enc, ptr)) {
  555.     CHECK_NAME_CASES(enc, ptr, end, nextTokPtr)
  556. #ifdef XML_NS
  557.     case BT_COLON:
  558.       if (hadColon) {
  559.     *nextTokPtr = ptr;
  560.     return XML_TOK_INVALID;
  561.       }
  562.       hadColon = 1;
  563.       ptr += MINBPC(enc);
  564.       if (ptr == end)
  565.     return XML_TOK_PARTIAL;
  566.       switch (BYTE_TYPE(enc, ptr)) {
  567.       CHECK_NMSTRT_CASES(enc, ptr, end, nextTokPtr)
  568.       default:
  569.     *nextTokPtr = ptr;
  570.     return XML_TOK_INVALID;
  571.       }
  572.       break;
  573. #endif
  574.     case BT_S: case BT_CR: case BT_LF:
  575.       for (;;) {
  576.     int t;
  577.  
  578.     ptr += MINBPC(enc);
  579.     if (ptr == end)
  580.       return XML_TOK_PARTIAL;
  581.     t = BYTE_TYPE(enc, ptr);
  582.     if (t == BT_EQUALS)
  583.       break;
  584.     switch (t) {
  585.     case BT_S:
  586.     case BT_LF:
  587.     case BT_CR:
  588.       break;
  589.     default:
  590.       *nextTokPtr = ptr;
  591.       return XML_TOK_INVALID;
  592.     }
  593.       }
  594.     /* fall through */
  595.     case BT_EQUALS:
  596.       {
  597.     int open;
  598. #ifdef XML_NS
  599.     hadColon = 0;
  600. #endif
  601.     for (;;) {
  602.       
  603.       ptr += MINBPC(enc);
  604.       if (ptr == end)
  605.         return XML_TOK_PARTIAL;
  606.       open = BYTE_TYPE(enc, ptr);
  607.       if (open == BT_QUOT || open == BT_APOS)
  608.         break;
  609.       switch (open) {
  610.       case BT_S:
  611.       case BT_LF:
  612.       case BT_CR:
  613.         break;
  614.       default:
  615.         *nextTokPtr = ptr;
  616.         return XML_TOK_INVALID;
  617.       }
  618.     }
  619.     ptr += MINBPC(enc);
  620.     /* in attribute value */
  621.     for (;;) {
  622.       int t;
  623.       if (ptr == end)
  624.         return XML_TOK_PARTIAL;
  625.       t = BYTE_TYPE(enc, ptr);
  626.       if (t == open)
  627.         break;
  628.       switch (t) {
  629.       INVALID_CASES(ptr, nextTokPtr)
  630.       case BT_AMP:
  631.         {
  632.           int tok = PREFIX(scanRef)(enc, ptr + MINBPC(enc), end, &ptr);
  633.           if (tok <= 0) {
  634.         if (tok == XML_TOK_INVALID)
  635.           *nextTokPtr = ptr;
  636.         return tok;
  637.           }
  638.           break;
  639.         }
  640.       case BT_LT:
  641.         *nextTokPtr = ptr;
  642.         return XML_TOK_INVALID;
  643.       default:
  644.         ptr += MINBPC(enc);
  645.         break;
  646.       }
  647.     }
  648.     ptr += MINBPC(enc);
  649.     if (ptr == end)
  650.       return XML_TOK_PARTIAL;
  651.     switch (BYTE_TYPE(enc, ptr)) {
  652.     case BT_S:
  653.     case BT_CR:
  654.     case BT_LF:
  655.       break;
  656.     case BT_SOL:
  657.       goto sol;
  658.     case BT_GT:
  659.       goto gt;
  660.     default:
  661.       *nextTokPtr = ptr;
  662.       return XML_TOK_INVALID;
  663.     }
  664.     /* ptr points to closing quote */
  665.     for (;;) {
  666.       ptr += MINBPC(enc);
  667.       if (ptr == end)
  668.         return XML_TOK_PARTIAL;
  669.       switch (BYTE_TYPE(enc, ptr)) {
  670.       CHECK_NMSTRT_CASES(enc, ptr, end, nextTokPtr)
  671.       case BT_S: case BT_CR: case BT_LF:
  672.         continue;
  673.       case BT_GT:
  674.           gt:
  675.         *nextTokPtr = ptr + MINBPC(enc);
  676.         return XML_TOK_START_TAG_WITH_ATTS;
  677.       case BT_SOL:
  678.           sol:
  679.         ptr += MINBPC(enc);
  680.         if (ptr == end)
  681.           return XML_TOK_PARTIAL;
  682.         if (!CHAR_MATCHES(enc, ptr, ASCII_GT)) {
  683.           *nextTokPtr = ptr;
  684.           return XML_TOK_INVALID;
  685.         }
  686.         *nextTokPtr = ptr + MINBPC(enc);
  687.         return XML_TOK_EMPTY_ELEMENT_WITH_ATTS;
  688.       default:
  689.         *nextTokPtr = ptr;
  690.         return XML_TOK_INVALID;
  691.       }
  692.       break;
  693.     }
  694.     break;
  695.       }
  696.     default:
  697.       *nextTokPtr = ptr;
  698.       return XML_TOK_INVALID;
  699.     }
  700.   }
  701.   return XML_TOK_PARTIAL;
  702. }
  703.  
  704. /* ptr points to character following "<" */
  705.  
  706. static
  707. int PREFIX(scanLt)(const ENCODING *enc, const char *ptr, const char *end,
  708.            const char **nextTokPtr)
  709. {
  710. #ifdef XML_NS
  711.   int hadColon;
  712. #endif
  713.   if (ptr == end)
  714.     return XML_TOK_PARTIAL;
  715.   switch (BYTE_TYPE(enc, ptr)) {
  716.   CHECK_NMSTRT_CASES(enc, ptr, end, nextTokPtr)
  717.   case BT_EXCL:
  718.     if ((ptr += MINBPC(enc)) == end)
  719.       return XML_TOK_PARTIAL;
  720.     switch (BYTE_TYPE(enc, ptr)) {
  721.     case BT_MINUS:
  722.       return PREFIX(scanComment)(enc, ptr + MINBPC(enc), end, nextTokPtr);
  723.     case BT_LSQB:
  724.       return PREFIX(scanCdataSection)(enc, ptr + MINBPC(enc), end, nextTokPtr);
  725.     }
  726.     *nextTokPtr = ptr;
  727.     return XML_TOK_INVALID;
  728.   case BT_QUEST:
  729.     return PREFIX(scanPi)(enc, ptr + MINBPC(enc), end, nextTokPtr);
  730.   case BT_SOL:
  731.     return PREFIX(scanEndTag)(enc, ptr + MINBPC(enc), end, nextTokPtr);
  732.   default:
  733.     *nextTokPtr = ptr;
  734.     return XML_TOK_INVALID;
  735.   }
  736. #ifdef XML_NS
  737.   hadColon = 0;
  738. #endif
  739.   /* we have a start-tag */
  740.   while (ptr != end) {
  741.     switch (BYTE_TYPE(enc, ptr)) {
  742.     CHECK_NAME_CASES(enc, ptr, end, nextTokPtr)
  743. #ifdef XML_NS
  744.     case BT_COLON:
  745.       if (hadColon) {
  746.     *nextTokPtr = ptr;
  747.     return XML_TOK_INVALID;
  748.       }
  749.       hadColon = 1;
  750.       ptr += MINBPC(enc);
  751.       if (ptr == end)
  752.     return XML_TOK_PARTIAL;
  753.       switch (BYTE_TYPE(enc, ptr)) {
  754.       CHECK_NMSTRT_CASES(enc, ptr, end, nextTokPtr)
  755.       default:
  756.         *nextTokPtr = ptr;
  757.         return XML_TOK_INVALID;
  758.       }
  759.       break;
  760. #endif
  761.     case BT_S: case BT_CR: case BT_LF:
  762.       {
  763.         ptr += MINBPC(enc);
  764.     while (ptr != end) {
  765.       switch (BYTE_TYPE(enc, ptr)) {
  766.       CHECK_NMSTRT_CASES(enc, ptr, end, nextTokPtr)
  767.       case BT_GT:
  768.         goto gt;
  769.       case BT_SOL:
  770.         goto sol;
  771.       case BT_S: case BT_CR: case BT_LF:
  772.         ptr += MINBPC(enc);
  773.         continue;
  774.       default:
  775.         *nextTokPtr = ptr;
  776.         return XML_TOK_INVALID;
  777.       }
  778.       return PREFIX(scanAtts)(enc, ptr, end, nextTokPtr);
  779.     }
  780.     return XML_TOK_PARTIAL;
  781.       }
  782.     case BT_GT:
  783.     gt:
  784.       *nextTokPtr = ptr + MINBPC(enc);
  785.       return XML_TOK_START_TAG_NO_ATTS;
  786.     case BT_SOL:
  787.     sol:
  788.       ptr += MINBPC(enc);
  789.       if (ptr == end)
  790.     return XML_TOK_PARTIAL;
  791.       if (!CHAR_MATCHES(enc, ptr, ASCII_GT)) {
  792.     *nextTokPtr = ptr;
  793.     return XML_TOK_INVALID;
  794.       }
  795.       *nextTokPtr = ptr + MINBPC(enc);
  796.       return XML_TOK_EMPTY_ELEMENT_NO_ATTS;
  797.     default:
  798.       *nextTokPtr = ptr;
  799.       return XML_TOK_INVALID;
  800.     }
  801.   }
  802.   return XML_TOK_PARTIAL;
  803. }
  804.  
  805. static
  806. int PREFIX(contentTok)(const ENCODING *enc, const char *ptr, const char *end,
  807.                const char **nextTokPtr)
  808. {
  809.   if (ptr == end)
  810.     return XML_TOK_NONE;
  811.   if (MINBPC(enc) > 1) {
  812.     size_t n = end - ptr;
  813.     if (n & (MINBPC(enc) - 1)) {
  814.       n &= ~(MINBPC(enc) - 1);
  815.       if (n == 0)
  816.     return XML_TOK_PARTIAL;
  817.       end = ptr + n;
  818.     }
  819.   }
  820.   switch (BYTE_TYPE(enc, ptr)) {
  821.   case BT_LT:
  822.     return PREFIX(scanLt)(enc, ptr + MINBPC(enc), end, nextTokPtr);
  823.   case BT_AMP:
  824.     return PREFIX(scanRef)(enc, ptr + MINBPC(enc), end, nextTokPtr);
  825.   case BT_CR:
  826.     ptr += MINBPC(enc);
  827.     if (ptr == end)
  828.       return XML_TOK_TRAILING_CR;
  829.     if (BYTE_TYPE(enc, ptr) == BT_LF)
  830.       ptr += MINBPC(enc);
  831.     *nextTokPtr = ptr;
  832.     return XML_TOK_DATA_NEWLINE;
  833.   case BT_LF:
  834.     *nextTokPtr = ptr + MINBPC(enc);
  835.     return XML_TOK_DATA_NEWLINE;
  836.   case BT_RSQB:
  837.     ptr += MINBPC(enc);
  838.     if (ptr == end)
  839.       return XML_TOK_TRAILING_RSQB;
  840.     if (!CHAR_MATCHES(enc, ptr, ASCII_RSQB))
  841.       break;
  842.     ptr += MINBPC(enc);
  843.     if (ptr == end)
  844.       return XML_TOK_TRAILING_RSQB;
  845.     if (!CHAR_MATCHES(enc, ptr, ASCII_GT)) {
  846.       ptr -= MINBPC(enc);
  847.       break;
  848.     }
  849.     *nextTokPtr = ptr;
  850.     return XML_TOK_INVALID;
  851.   INVALID_CASES(ptr, nextTokPtr)
  852.   default:
  853.     ptr += MINBPC(enc);
  854.     break;
  855.   }
  856.   while (ptr != end) {
  857.     switch (BYTE_TYPE(enc, ptr)) {
  858. #define LEAD_CASE(n) \
  859.     case BT_LEAD ## n: \
  860.       if (end - ptr < n || IS_INVALID_CHAR(enc, ptr, n)) { \
  861.     *nextTokPtr = ptr; \
  862.     return XML_TOK_DATA_CHARS; \
  863.       } \
  864.       ptr += n; \
  865.       break;
  866.     LEAD_CASE(2) LEAD_CASE(3) LEAD_CASE(4)
  867. #undef LEAD_CASE
  868.     case BT_RSQB:
  869.       if (ptr + MINBPC(enc) != end) {
  870.      if (!CHAR_MATCHES(enc, ptr + MINBPC(enc), ASCII_RSQB)) {
  871.        ptr += MINBPC(enc);
  872.        break;
  873.      }
  874.      if (ptr + 2*MINBPC(enc) != end) {
  875.        if (!CHAR_MATCHES(enc, ptr + 2*MINBPC(enc), ASCII_GT)) {
  876.          ptr += MINBPC(enc);
  877.          break;
  878.        }
  879.        *nextTokPtr = ptr + 2*MINBPC(enc);
  880.        return XML_TOK_INVALID;
  881.      }
  882.       }
  883.       /* fall through */
  884.     case BT_AMP:
  885.     case BT_LT:
  886.     case BT_NONXML:
  887.     case BT_MALFORM:
  888.     case BT_TRAIL:
  889.     case BT_CR:
  890.     case BT_LF:
  891.       *nextTokPtr = ptr;
  892.       return XML_TOK_DATA_CHARS;
  893.     default:
  894.       ptr += MINBPC(enc);
  895.       break;
  896.     }
  897.   }
  898.   *nextTokPtr = ptr;
  899.   return XML_TOK_DATA_CHARS;
  900. }
  901.  
  902. /* ptr points to character following "%" */
  903.  
  904. static
  905. int PREFIX(scanPercent)(const ENCODING *enc, const char *ptr, const char *end,
  906.             const char **nextTokPtr)
  907. {
  908.   if (ptr == end)
  909.     return XML_TOK_PARTIAL;
  910.   switch (BYTE_TYPE(enc, ptr)) {
  911.   CHECK_NMSTRT_CASES(enc, ptr, end, nextTokPtr)
  912.   case BT_S: case BT_LF: case BT_CR: case BT_PERCNT:
  913.     *nextTokPtr = ptr;
  914.     return XML_TOK_PERCENT;
  915.   default:
  916.     *nextTokPtr = ptr;
  917.     return XML_TOK_INVALID;
  918.   }
  919.   while (ptr != end) {
  920.     switch (BYTE_TYPE(enc, ptr)) {
  921.     CHECK_NAME_CASES(enc, ptr, end, nextTokPtr)
  922.     case BT_SEMI:
  923.       *nextTokPtr = ptr + MINBPC(enc);
  924.       return XML_TOK_PARAM_ENTITY_REF;
  925.     default:
  926.       *nextTokPtr = ptr;
  927.       return XML_TOK_INVALID;
  928.     }
  929.   }
  930.   return XML_TOK_PARTIAL;
  931. }
  932.  
  933. static
  934. int PREFIX(scanPoundName)(const ENCODING *enc, const char *ptr, const char *end,
  935.               const char **nextTokPtr)
  936. {
  937.   if (ptr == end)
  938.     return XML_TOK_PARTIAL;
  939.   switch (BYTE_TYPE(enc, ptr)) {
  940.   CHECK_NMSTRT_CASES(enc, ptr, end, nextTokPtr)
  941.   default:
  942.     *nextTokPtr = ptr;
  943.     return XML_TOK_INVALID;
  944.   }
  945.   while (ptr != end) {
  946.     switch (BYTE_TYPE(enc, ptr)) {
  947.     CHECK_NAME_CASES(enc, ptr, end, nextTokPtr)
  948.     case BT_CR: case BT_LF: case BT_S:
  949.     case BT_RPAR: case BT_GT: case BT_PERCNT: case BT_VERBAR:
  950.       *nextTokPtr = ptr;
  951.       return XML_TOK_POUND_NAME;
  952.     default:
  953.       *nextTokPtr = ptr;
  954.       return XML_TOK_INVALID;
  955.     }
  956.   }
  957.   return -XML_TOK_POUND_NAME;
  958. }
  959.  
  960. static
  961. int PREFIX(scanLit)(int open, const ENCODING *enc,
  962.             const char *ptr, const char *end,
  963.             const char **nextTokPtr)
  964. {
  965.   while (ptr != end) {
  966.     int t = BYTE_TYPE(enc, ptr);
  967.     switch (t) {
  968.     INVALID_CASES(ptr, nextTokPtr)
  969.     case BT_QUOT:
  970.     case BT_APOS:
  971.       ptr += MINBPC(enc);
  972.       if (t != open)
  973.     break;
  974.       if (ptr == end)
  975.     return -XML_TOK_LITERAL;
  976.       *nextTokPtr = ptr;
  977.       switch (BYTE_TYPE(enc, ptr)) {
  978.       case BT_S: case BT_CR: case BT_LF:
  979.       case BT_GT: case BT_PERCNT: case BT_LSQB:
  980.     return XML_TOK_LITERAL;
  981.       default:
  982.     return XML_TOK_INVALID;
  983.       }
  984.     default:
  985.       ptr += MINBPC(enc);
  986.       break;
  987.     }
  988.   }
  989.   return XML_TOK_PARTIAL;
  990. }
  991.  
  992. static
  993. int PREFIX(prologTok)(const ENCODING *enc, const char *ptr, const char *end,
  994.               const char **nextTokPtr)
  995. {
  996.   int tok;
  997.   if (ptr == end)
  998.     return XML_TOK_NONE;
  999.   if (MINBPC(enc) > 1) {
  1000.     size_t n = end - ptr;
  1001.     if (n & (MINBPC(enc) - 1)) {
  1002.       n &= ~(MINBPC(enc) - 1);
  1003.       if (n == 0)
  1004.     return XML_TOK_PARTIAL;
  1005.       end = ptr + n;
  1006.     }
  1007.   }
  1008.   switch (BYTE_TYPE(enc, ptr)) {
  1009.   case BT_QUOT:
  1010.     return PREFIX(scanLit)(BT_QUOT, enc, ptr + MINBPC(enc), end, nextTokPtr);
  1011.   case BT_APOS:
  1012.     return PREFIX(scanLit)(BT_APOS, enc, ptr + MINBPC(enc), end, nextTokPtr);
  1013.   case BT_LT:
  1014.     {
  1015.       ptr += MINBPC(enc);
  1016.       if (ptr == end)
  1017.     return XML_TOK_PARTIAL;
  1018.       switch (BYTE_TYPE(enc, ptr)) {
  1019.       case BT_EXCL:
  1020.     return PREFIX(scanDecl)(enc, ptr + MINBPC(enc), end, nextTokPtr);
  1021.       case BT_QUEST:
  1022.     return PREFIX(scanPi)(enc, ptr + MINBPC(enc), end, nextTokPtr);
  1023.       case BT_NMSTRT:
  1024.       case BT_HEX:
  1025.       case BT_NONASCII:
  1026.       case BT_LEAD2:
  1027.       case BT_LEAD3:
  1028.       case BT_LEAD4:
  1029.     *nextTokPtr = ptr - MINBPC(enc);
  1030.     return XML_TOK_INSTANCE_START;
  1031.       }
  1032.       *nextTokPtr = ptr;
  1033.       return XML_TOK_INVALID;
  1034.     }
  1035.   case BT_CR:
  1036.     if (ptr + MINBPC(enc) == end)
  1037.       return -XML_TOK_PROLOG_S;
  1038.     /* fall through */
  1039.   case BT_S: case BT_LF:
  1040.     for (;;) {
  1041.       ptr += MINBPC(enc);
  1042.       if (ptr == end)
  1043.     break;
  1044.       switch (BYTE_TYPE(enc, ptr)) {
  1045.       case BT_S: case BT_LF:
  1046.     break;
  1047.       case BT_CR:
  1048.     /* don't split CR/LF pair */
  1049.     if (ptr + MINBPC(enc) != end)
  1050.       break;
  1051.     /* fall through */
  1052.       default:
  1053.     *nextTokPtr = ptr;
  1054.     return XML_TOK_PROLOG_S;
  1055.       }
  1056.     }
  1057.     *nextTokPtr = ptr;
  1058.     return XML_TOK_PROLOG_S;
  1059.   case BT_PERCNT:
  1060.     return PREFIX(scanPercent)(enc, ptr + MINBPC(enc), end, nextTokPtr);
  1061.   case BT_COMMA:
  1062.     *nextTokPtr = ptr + MINBPC(enc);
  1063.     return XML_TOK_COMMA;
  1064.   case BT_LSQB:
  1065.     *nextTokPtr = ptr + MINBPC(enc);
  1066.     return XML_TOK_OPEN_BRACKET;
  1067.   case BT_RSQB:
  1068.     ptr += MINBPC(enc);
  1069.     if (ptr == end)
  1070.       return -XML_TOK_CLOSE_BRACKET;
  1071.     if (CHAR_MATCHES(enc, ptr, ASCII_RSQB)) {
  1072.       if (ptr + MINBPC(enc) == end)
  1073.     return XML_TOK_PARTIAL;
  1074.       if (CHAR_MATCHES(enc, ptr + MINBPC(enc), ASCII_GT)) {
  1075.     *nextTokPtr = ptr + 2*MINBPC(enc);
  1076.     return XML_TOK_COND_SECT_CLOSE;
  1077.       }
  1078.     }
  1079.     *nextTokPtr = ptr;
  1080.     return XML_TOK_CLOSE_BRACKET;
  1081.   case BT_LPAR:
  1082.     *nextTokPtr = ptr + MINBPC(enc);
  1083.     return XML_TOK_OPEN_PAREN;
  1084.   case BT_RPAR:
  1085.     ptr += MINBPC(enc);
  1086.     if (ptr == end)
  1087.       return -XML_TOK_CLOSE_PAREN;
  1088.     switch (BYTE_TYPE(enc, ptr)) {
  1089.     case BT_AST:
  1090.       *nextTokPtr = ptr + MINBPC(enc);
  1091.       return XML_TOK_CLOSE_PAREN_ASTERISK;
  1092.     case BT_QUEST:
  1093.       *nextTokPtr = ptr + MINBPC(enc);
  1094.       return XML_TOK_CLOSE_PAREN_QUESTION;
  1095.     case BT_PLUS:
  1096.       *nextTokPtr = ptr + MINBPC(enc);
  1097.       return XML_TOK_CLOSE_PAREN_PLUS;
  1098.     case BT_CR: case BT_LF: case BT_S:
  1099.     case BT_GT: case BT_COMMA: case BT_VERBAR:
  1100.     case BT_RPAR:
  1101.       *nextTokPtr = ptr;
  1102.       return XML_TOK_CLOSE_PAREN;
  1103.     }
  1104.     *nextTokPtr = ptr;
  1105.     return XML_TOK_INVALID;
  1106.   case BT_VERBAR:
  1107.     *nextTokPtr = ptr + MINBPC(enc);
  1108.     return XML_TOK_OR;
  1109.   case BT_GT:
  1110.     *nextTokPtr = ptr + MINBPC(enc);
  1111.     return XML_TOK_DECL_CLOSE;
  1112.   case BT_NUM:
  1113.     return PREFIX(scanPoundName)(enc, ptr + MINBPC(enc), end, nextTokPtr);
  1114. #define LEAD_CASE(n) \
  1115.   case BT_LEAD ## n: \
  1116.     if (end - ptr < n) \
  1117.       return XML_TOK_PARTIAL_CHAR; \
  1118.     if (IS_NMSTRT_CHAR(enc, ptr, n)) { \
  1119.       ptr += n; \
  1120.       tok = XML_TOK_NAME; \
  1121.       break; \
  1122.     } \
  1123.     if (IS_NAME_CHAR(enc, ptr, n)) { \
  1124.       ptr += n; \
  1125.       tok = XML_TOK_NMTOKEN; \
  1126.       break; \
  1127.     } \
  1128.     *nextTokPtr = ptr; \
  1129.     return XML_TOK_INVALID;
  1130.     LEAD_CASE(2) LEAD_CASE(3) LEAD_CASE(4)
  1131. #undef LEAD_CASE
  1132.   case BT_NMSTRT:
  1133.   case BT_HEX:
  1134.     tok = XML_TOK_NAME;
  1135.     ptr += MINBPC(enc);
  1136.     break;
  1137.   case BT_DIGIT:
  1138.   case BT_NAME:
  1139.   case BT_MINUS:
  1140. #ifdef XML_NS
  1141.   case BT_COLON:
  1142. #endif
  1143.     tok = XML_TOK_NMTOKEN;
  1144.     ptr += MINBPC(enc);
  1145.     break;
  1146.   case BT_NONASCII:
  1147.     if (IS_NMSTRT_CHAR_MINBPC(enc, ptr)) {
  1148.       ptr += MINBPC(enc);
  1149.       tok = XML_TOK_NAME;
  1150.       break;
  1151.     }
  1152.     if (IS_NAME_CHAR_MINBPC(enc, ptr)) {
  1153.       ptr += MINBPC(enc);
  1154.       tok = XML_TOK_NMTOKEN;
  1155.       break;
  1156.     }
  1157.     /* fall through */
  1158.   default:
  1159.     *nextTokPtr = ptr;
  1160.     return XML_TOK_INVALID;
  1161.   }
  1162.   while (ptr != end) {
  1163.     switch (BYTE_TYPE(enc, ptr)) {
  1164.     CHECK_NAME_CASES(enc, ptr, end, nextTokPtr)
  1165.     case BT_GT: case BT_RPAR: case BT_COMMA:
  1166.     case BT_VERBAR: case BT_LSQB: case BT_PERCNT:
  1167.     case BT_S: case BT_CR: case BT_LF:
  1168.       *nextTokPtr = ptr;
  1169.       return tok;
  1170. #ifdef XML_NS
  1171.     case BT_COLON:
  1172.       ptr += MINBPC(enc);
  1173.       switch (tok) {
  1174.       case XML_TOK_NAME:
  1175.     if (ptr == end)
  1176.       return XML_TOK_PARTIAL;
  1177.     tok = XML_TOK_PREFIXED_NAME;
  1178.     switch (BYTE_TYPE(enc, ptr)) {
  1179.     CHECK_NAME_CASES(enc, ptr, end, nextTokPtr)
  1180.     default:
  1181.       tok = XML_TOK_NMTOKEN;
  1182.       break;
  1183.     }
  1184.     break;
  1185.       case XML_TOK_PREFIXED_NAME:
  1186.     tok = XML_TOK_NMTOKEN;
  1187.     break;
  1188.       }
  1189.       break;
  1190. #endif
  1191.     case BT_PLUS:
  1192.       if (tok == XML_TOK_NMTOKEN)  {
  1193.     *nextTokPtr = ptr;
  1194.     return XML_TOK_INVALID;
  1195.       }
  1196.       *nextTokPtr = ptr + MINBPC(enc);
  1197.       return XML_TOK_NAME_PLUS;
  1198.     case BT_AST:
  1199.       if (tok == XML_TOK_NMTOKEN)  {
  1200.     *nextTokPtr = ptr;
  1201.     return XML_TOK_INVALID;
  1202.       }
  1203.       *nextTokPtr = ptr + MINBPC(enc);
  1204.       return XML_TOK_NAME_ASTERISK;
  1205.     case BT_QUEST:
  1206.       if (tok == XML_TOK_NMTOKEN)  {
  1207.     *nextTokPtr = ptr;
  1208.     return XML_TOK_INVALID;
  1209.       }
  1210.       *nextTokPtr = ptr + MINBPC(enc);
  1211.       return XML_TOK_NAME_QUESTION;
  1212.     default:
  1213.       *nextTokPtr = ptr;
  1214.       return XML_TOK_INVALID;
  1215.     }
  1216.   }
  1217.   return -tok;
  1218. }
  1219.  
  1220. static
  1221. int PREFIX(attributeValueTok)(const ENCODING *enc, const char *ptr, const char *end,
  1222.                   const char **nextTokPtr)
  1223. {
  1224.   const char *start;
  1225.   if (ptr == end)
  1226.     return XML_TOK_NONE;
  1227.   start = ptr;
  1228.   while (ptr != end) {
  1229.     switch (BYTE_TYPE(enc, ptr)) {
  1230. #define LEAD_CASE(n) \
  1231.     case BT_LEAD ## n: ptr += n; break;
  1232.     LEAD_CASE(2) LEAD_CASE(3) LEAD_CASE(4)
  1233. #undef LEAD_CASE
  1234.     case BT_AMP:
  1235.       if (ptr == start)
  1236.     return PREFIX(scanRef)(enc, ptr + MINBPC(enc), end, nextTokPtr);
  1237.       *nextTokPtr = ptr;
  1238.       return XML_TOK_DATA_CHARS;
  1239.     case BT_LT:
  1240.       /* this is for inside entity references */
  1241.       *nextTokPtr = ptr;
  1242.       return XML_TOK_INVALID;
  1243.     case BT_LF:
  1244.       if (ptr == start) {
  1245.     *nextTokPtr = ptr + MINBPC(enc);
  1246.     return XML_TOK_DATA_NEWLINE;
  1247.       }
  1248.       *nextTokPtr = ptr;
  1249.       return XML_TOK_DATA_CHARS;
  1250.     case BT_CR:
  1251.       if (ptr == start) {
  1252.     ptr += MINBPC(enc);
  1253.     if (ptr == end)
  1254.       return XML_TOK_TRAILING_CR;
  1255.     if (BYTE_TYPE(enc, ptr) == BT_LF)
  1256.       ptr += MINBPC(enc);
  1257.     *nextTokPtr = ptr;
  1258.     return XML_TOK_DATA_NEWLINE;
  1259.       }
  1260.       *nextTokPtr = ptr;
  1261.       return XML_TOK_DATA_CHARS;
  1262.     case BT_S:
  1263.       if (ptr == start) {
  1264.     *nextTokPtr = ptr + MINBPC(enc);
  1265.     return XML_TOK_ATTRIBUTE_VALUE_S;
  1266.       }
  1267.       *nextTokPtr = ptr;
  1268.       return XML_TOK_DATA_CHARS;
  1269.     default:
  1270.       ptr += MINBPC(enc);
  1271.       break;
  1272.     }
  1273.   }
  1274.   *nextTokPtr = ptr;
  1275.   return XML_TOK_DATA_CHARS;
  1276. }
  1277.  
  1278. static
  1279. int PREFIX(entityValueTok)(const ENCODING *enc, const char *ptr, const char *end,
  1280.                const char **nextTokPtr)
  1281. {
  1282.   const char *start;
  1283.   if (ptr == end)
  1284.     return XML_TOK_NONE;
  1285.   start = ptr;
  1286.   while (ptr != end) {
  1287.     switch (BYTE_TYPE(enc, ptr)) {
  1288. #define LEAD_CASE(n) \
  1289.     case BT_LEAD ## n: ptr += n; break;
  1290.     LEAD_CASE(2) LEAD_CASE(3) LEAD_CASE(4)
  1291. #undef LEAD_CASE
  1292.     case BT_AMP:
  1293.       if (ptr == start)
  1294.     return PREFIX(scanRef)(enc, ptr + MINBPC(enc), end, nextTokPtr);
  1295.       *nextTokPtr = ptr;
  1296.       return XML_TOK_DATA_CHARS;
  1297.     case BT_PERCNT:
  1298.       if (ptr == start)
  1299.     return PREFIX(scanPercent)(enc, ptr + MINBPC(enc), end, nextTokPtr);
  1300.       *nextTokPtr = ptr;
  1301.       return XML_TOK_DATA_CHARS;
  1302.     case BT_LF:
  1303.       if (ptr == start) {
  1304.     *nextTokPtr = ptr + MINBPC(enc);
  1305.     return XML_TOK_DATA_NEWLINE;
  1306.       }
  1307.       *nextTokPtr = ptr;
  1308.       return XML_TOK_DATA_CHARS;
  1309.     case BT_CR:
  1310.       if (ptr == start) {
  1311.     ptr += MINBPC(enc);
  1312.     if (ptr == end)
  1313.       return XML_TOK_TRAILING_CR;
  1314.     if (BYTE_TYPE(enc, ptr) == BT_LF)
  1315.       ptr += MINBPC(enc);
  1316.     *nextTokPtr = ptr;
  1317.     return XML_TOK_DATA_NEWLINE;
  1318.       }
  1319.       *nextTokPtr = ptr;
  1320.       return XML_TOK_DATA_CHARS;
  1321.     default:
  1322.       ptr += MINBPC(enc);
  1323.       break;
  1324.     }
  1325.   }
  1326.   *nextTokPtr = ptr;
  1327.   return XML_TOK_DATA_CHARS;
  1328. }
  1329.  
  1330. #ifdef XML_DTD
  1331.  
  1332. static
  1333. int PREFIX(ignoreSectionTok)(const ENCODING *enc, const char *ptr, const char *end,
  1334.                  const char **nextTokPtr)
  1335. {
  1336.   int level = 0;
  1337.   if (MINBPC(enc) > 1) {
  1338.     size_t n = end - ptr;
  1339.     if (n & (MINBPC(enc) - 1)) {
  1340.       n &= ~(MINBPC(enc) - 1);
  1341.       end = ptr + n;
  1342.     }
  1343.   }
  1344.   while (ptr != end) {
  1345.     switch (BYTE_TYPE(enc, ptr)) {
  1346.     INVALID_CASES(ptr, nextTokPtr)
  1347.     case BT_LT:
  1348.       if ((ptr += MINBPC(enc)) == end)
  1349.     return XML_TOK_PARTIAL;
  1350.       if (CHAR_MATCHES(enc, ptr, ASCII_EXCL)) {
  1351.     if ((ptr += MINBPC(enc)) == end)
  1352.       return XML_TOK_PARTIAL;
  1353.     if (CHAR_MATCHES(enc, ptr, ASCII_LSQB)) {
  1354.       ++level;
  1355.       ptr += MINBPC(enc);
  1356.     }
  1357.       }
  1358.       break;
  1359.     case BT_RSQB:
  1360.       if ((ptr += MINBPC(enc)) == end)
  1361.     return XML_TOK_PARTIAL;
  1362.       if (CHAR_MATCHES(enc, ptr, ASCII_RSQB)) {
  1363.     if ((ptr += MINBPC(enc)) == end)
  1364.       return XML_TOK_PARTIAL;
  1365.     if (CHAR_MATCHES(enc, ptr, ASCII_GT)) {
  1366.       ptr += MINBPC(enc);
  1367.       if (level == 0) {
  1368.         *nextTokPtr = ptr;
  1369.         return XML_TOK_IGNORE_SECT;
  1370.       }
  1371.       --level;
  1372.     }
  1373.       }
  1374.       break;
  1375.     default:
  1376.       ptr += MINBPC(enc);
  1377.       break;
  1378.     }
  1379.   }
  1380.   return XML_TOK_PARTIAL;
  1381. }
  1382.  
  1383. #endif /* XML_DTD */
  1384.  
  1385. static
  1386. int PREFIX(isPublicId)(const ENCODING *enc, const char *ptr, const char *end,
  1387.                const char **badPtr)
  1388. {
  1389.   ptr += MINBPC(enc);
  1390.   end -= MINBPC(enc);
  1391.   for (; ptr != end; ptr += MINBPC(enc)) {
  1392.     switch (BYTE_TYPE(enc, ptr)) {
  1393.     case BT_DIGIT:
  1394.     case BT_HEX:
  1395.     case BT_MINUS:
  1396.     case BT_APOS:
  1397.     case BT_LPAR:
  1398.     case BT_RPAR:
  1399.     case BT_PLUS:
  1400.     case BT_COMMA:
  1401.     case BT_SOL:
  1402.     case BT_EQUALS:
  1403.     case BT_QUEST:
  1404.     case BT_CR:
  1405.     case BT_LF:
  1406.     case BT_SEMI:
  1407.     case BT_EXCL:
  1408.     case BT_AST:
  1409.     case BT_PERCNT:
  1410.     case BT_NUM:
  1411. #ifdef XML_NS
  1412.     case BT_COLON:
  1413. #endif
  1414.       break;
  1415.     case BT_S:
  1416.       if (CHAR_MATCHES(enc, ptr, ASCII_TAB)) {
  1417.     *badPtr = ptr;
  1418.     return 0;
  1419.       }
  1420.       break;
  1421.     case BT_NAME:
  1422.     case BT_NMSTRT:
  1423.       if (!(BYTE_TO_ASCII(enc, ptr) & ~0x7f))
  1424.     break;
  1425.     default:
  1426.       switch (BYTE_TO_ASCII(enc, ptr)) {
  1427.       case 0x24: /* $ */
  1428.       case 0x40: /* @ */
  1429.     break;
  1430.       default:
  1431.     *badPtr = ptr;
  1432.     return 0;
  1433.       }
  1434.       break;
  1435.     }
  1436.   }
  1437.   return 1;
  1438. }
  1439.  
  1440. /* This must only be called for a well-formed start-tag or empty element tag.
  1441. Returns the number of attributes.  Pointers to the first attsMax attributes 
  1442. are stored in atts. */
  1443.  
  1444. static
  1445. int PREFIX(getAtts)(const ENCODING *enc, const char *ptr,
  1446.             int attsMax, ATTRIBUTE *atts)
  1447. {
  1448.   enum { other, inName, inValue } state = inName;
  1449.   int nAtts = 0;
  1450.   int open = 0; /* defined when state == inValue;
  1451.            initialization just to shut up compilers */
  1452.  
  1453.   for (ptr += MINBPC(enc);; ptr += MINBPC(enc)) {
  1454.     switch (BYTE_TYPE(enc, ptr)) {
  1455. #define START_NAME \
  1456.       if (state == other) { \
  1457.     if (nAtts < attsMax) { \
  1458.       atts[nAtts].name = ptr; \
  1459.       atts[nAtts].normalized = 1; \
  1460.     } \
  1461.     state = inName; \
  1462.       }
  1463. #define LEAD_CASE(n) \
  1464.     case BT_LEAD ## n: START_NAME ptr += (n - MINBPC(enc)); break;
  1465.     LEAD_CASE(2) LEAD_CASE(3) LEAD_CASE(4)
  1466. #undef LEAD_CASE
  1467.     case BT_NONASCII:
  1468.     case BT_NMSTRT:
  1469.     case BT_HEX:
  1470.       START_NAME
  1471.       break;
  1472. #undef START_NAME
  1473.     case BT_QUOT:
  1474.       if (state != inValue) {
  1475.     if (nAtts < attsMax)
  1476.       atts[nAtts].valuePtr = ptr + MINBPC(enc);
  1477.         state = inValue;
  1478.         open = BT_QUOT;
  1479.       }
  1480.       else if (open == BT_QUOT) {
  1481.         state = other;
  1482.     if (nAtts < attsMax)
  1483.       atts[nAtts].valueEnd = ptr;
  1484.     nAtts++;
  1485.       }
  1486.       break;
  1487.     case BT_APOS:
  1488.       if (state != inValue) {
  1489.     if (nAtts < attsMax)
  1490.       atts[nAtts].valuePtr = ptr + MINBPC(enc);
  1491.         state = inValue;
  1492.         open = BT_APOS;
  1493.       }
  1494.       else if (open == BT_APOS) {
  1495.         state = other;
  1496.     if (nAtts < attsMax)
  1497.       atts[nAtts].valueEnd = ptr;
  1498.     nAtts++;
  1499.       }
  1500.       break;
  1501.     case BT_AMP:
  1502.       if (nAtts < attsMax)
  1503.     atts[nAtts].normalized = 0;
  1504.       break;
  1505.     case BT_S:
  1506.       if (state == inName)
  1507.         state = other;
  1508.       else if (state == inValue
  1509.            && nAtts < attsMax
  1510.            && atts[nAtts].normalized
  1511.            && (ptr == atts[nAtts].valuePtr
  1512.            || BYTE_TO_ASCII(enc, ptr) != ASCII_SPACE
  1513.            || BYTE_TO_ASCII(enc, ptr + MINBPC(enc)) == ASCII_SPACE
  1514.                || BYTE_TYPE(enc, ptr + MINBPC(enc)) == open))
  1515.     atts[nAtts].normalized = 0;
  1516.       break;
  1517.     case BT_CR: case BT_LF:
  1518.       /* This case ensures that the first attribute name is counted
  1519.          Apart from that we could just change state on the quote. */
  1520.       if (state == inName)
  1521.         state = other;
  1522.       else if (state == inValue && nAtts < attsMax)
  1523.     atts[nAtts].normalized = 0;
  1524.       break;
  1525.     case BT_GT:
  1526.     case BT_SOL:
  1527.       if (state != inValue)
  1528.     return nAtts;
  1529.       break;
  1530.     default:
  1531.       break;
  1532.     }
  1533.   }
  1534.   /* not reached */
  1535. }
  1536.  
  1537. static
  1538. int PREFIX(charRefNumber)(const ENCODING *enc, const char *ptr)
  1539. {
  1540.   int result = 0;
  1541.   /* skip &# */
  1542.   ptr += 2*MINBPC(enc);
  1543.   if (CHAR_MATCHES(enc, ptr, ASCII_x)) {
  1544.     for (ptr += MINBPC(enc); !CHAR_MATCHES(enc, ptr, ASCII_SEMI); ptr += MINBPC(enc)) {
  1545.       int c = BYTE_TO_ASCII(enc, ptr);
  1546.       switch (c) {
  1547.       case ASCII_0: case ASCII_1: case ASCII_2: case ASCII_3: case ASCII_4:
  1548.       case ASCII_5: case ASCII_6: case ASCII_7: case ASCII_8: case ASCII_9:
  1549.     result <<= 4;
  1550.     result |= (c - ASCII_0);
  1551.     break;
  1552.       case ASCII_A: case ASCII_B: case ASCII_C: case ASCII_D: case ASCII_E: case ASCII_F:
  1553.     result <<= 4;
  1554.     result += 10 + (c - ASCII_A);
  1555.     break;
  1556.       case ASCII_a: case ASCII_b: case ASCII_c: case ASCII_d: case ASCII_e: case ASCII_f:
  1557.     result <<= 4;
  1558.     result += 10 + (c - ASCII_a);
  1559.     break;
  1560.       }
  1561.       if (result >= 0x110000)
  1562.     return -1;
  1563.     }
  1564.   }
  1565.   else {
  1566.     for (; !CHAR_MATCHES(enc, ptr, ASCII_SEMI); ptr += MINBPC(enc)) {
  1567.       int c = BYTE_TO_ASCII(enc, ptr);
  1568.       result *= 10;
  1569.       result += (c - ASCII_0);
  1570.       if (result >= 0x110000)
  1571.     return -1;
  1572.     }
  1573.   }
  1574.   return checkCharRefNumber(result);
  1575. }
  1576.  
  1577. static
  1578. int PREFIX(predefinedEntityName)(const ENCODING *enc, const char *ptr, const char *end)
  1579. {
  1580.   switch ((end - ptr)/MINBPC(enc)) {
  1581.   case 2:
  1582.     if (CHAR_MATCHES(enc, ptr + MINBPC(enc), ASCII_t)) {
  1583.       switch (BYTE_TO_ASCII(enc, ptr)) {
  1584.       case ASCII_l:
  1585.     return ASCII_LT;
  1586.       case ASCII_g:
  1587.     return ASCII_GT;
  1588.       }
  1589.     }
  1590.     break;
  1591.   case 3:
  1592.     if (CHAR_MATCHES(enc, ptr, ASCII_a)) {
  1593.       ptr += MINBPC(enc);
  1594.       if (CHAR_MATCHES(enc, ptr, ASCII_m)) {
  1595.     ptr += MINBPC(enc);
  1596.     if (CHAR_MATCHES(enc, ptr, ASCII_p))
  1597.       return ASCII_AMP;
  1598.       }
  1599.     }
  1600.     break;
  1601.   case 4:
  1602.     switch (BYTE_TO_ASCII(enc, ptr)) {
  1603.     case ASCII_q:
  1604.       ptr += MINBPC(enc);
  1605.       if (CHAR_MATCHES(enc, ptr, ASCII_u)) {
  1606.     ptr += MINBPC(enc);
  1607.     if (CHAR_MATCHES(enc, ptr, ASCII_o)) {
  1608.       ptr += MINBPC(enc);
  1609.         if (CHAR_MATCHES(enc, ptr, ASCII_t))
  1610.         return ASCII_QUOT;
  1611.     }
  1612.       }
  1613.       break;
  1614.     case ASCII_a:
  1615.       ptr += MINBPC(enc);
  1616.       if (CHAR_MATCHES(enc, ptr, ASCII_p)) {
  1617.     ptr += MINBPC(enc);
  1618.     if (CHAR_MATCHES(enc, ptr, ASCII_o)) {
  1619.       ptr += MINBPC(enc);
  1620.         if (CHAR_MATCHES(enc, ptr, ASCII_s))
  1621.         return ASCII_APOS;
  1622.     }
  1623.       }
  1624.       break;
  1625.     }
  1626.   }
  1627.   return 0;
  1628. }
  1629.  
  1630. static
  1631. int PREFIX(sameName)(const ENCODING *enc, const char *ptr1, const char *ptr2)
  1632. {
  1633.   for (;;) {
  1634.     switch (BYTE_TYPE(enc, ptr1)) {
  1635. #define LEAD_CASE(n) \
  1636.     case BT_LEAD ## n: \
  1637.       if (*ptr1++ != *ptr2++) \
  1638.     return 0;
  1639.     LEAD_CASE(4) LEAD_CASE(3) LEAD_CASE(2)
  1640. #undef LEAD_CASE
  1641.       /* fall through */
  1642.       if (*ptr1++ != *ptr2++)
  1643.     return 0;
  1644.       break;
  1645.     case BT_NONASCII:
  1646.     case BT_NMSTRT:
  1647. #ifdef XML_NS
  1648.     case BT_COLON:
  1649. #endif
  1650.     case BT_HEX:
  1651.     case BT_DIGIT:
  1652.     case BT_NAME:
  1653.     case BT_MINUS:
  1654.       if (*ptr2++ != *ptr1++)
  1655.     return 0;
  1656.       if (MINBPC(enc) > 1) {
  1657.     if (*ptr2++ != *ptr1++)
  1658.       return 0;
  1659.     if (MINBPC(enc) > 2) {
  1660.       if (*ptr2++ != *ptr1++)
  1661.         return 0;
  1662.           if (MINBPC(enc) > 3) {
  1663.         if (*ptr2++ != *ptr1++)
  1664.                 return 0;
  1665.       }
  1666.     }
  1667.       }
  1668.       break;
  1669.     default:
  1670.       if (MINBPC(enc) == 1 && *ptr1 == *ptr2)
  1671.     return 1;
  1672.       switch (BYTE_TYPE(enc, ptr2)) {
  1673.       case BT_LEAD2:
  1674.       case BT_LEAD3:
  1675.       case BT_LEAD4:
  1676.       case BT_NONASCII:
  1677.       case BT_NMSTRT:
  1678. #ifdef XML_NS
  1679.       case BT_COLON:
  1680. #endif
  1681.       case BT_HEX:
  1682.       case BT_DIGIT:
  1683.       case BT_NAME:
  1684.       case BT_MINUS:
  1685.     return 0;
  1686.       default:
  1687.     return 1;
  1688.       }
  1689.     }
  1690.   }
  1691.   /* not reached */
  1692. }
  1693.  
  1694. static
  1695. int PREFIX(nameMatchesAscii)(const ENCODING *enc, const char *ptr1,
  1696.                  const char *end1, const char *ptr2)
  1697. {
  1698.   for (; *ptr2; ptr1 += MINBPC(enc), ptr2++) {
  1699.     if (ptr1 == end1)
  1700.       return 0;
  1701.     if (!CHAR_MATCHES(enc, ptr1, *ptr2))
  1702.       return 0;
  1703.   }
  1704.   return ptr1 == end1;
  1705. }
  1706.  
  1707. static
  1708. int PREFIX(nameLength)(const ENCODING *enc, const char *ptr)
  1709. {
  1710.   const char *start = ptr;
  1711.   for (;;) {
  1712.     switch (BYTE_TYPE(enc, ptr)) {
  1713. #define LEAD_CASE(n) \
  1714.     case BT_LEAD ## n: ptr += n; break;
  1715.     LEAD_CASE(2) LEAD_CASE(3) LEAD_CASE(4)
  1716. #undef LEAD_CASE
  1717.     case BT_NONASCII:
  1718.     case BT_NMSTRT:
  1719. #ifdef XML_NS
  1720.     case BT_COLON:
  1721. #endif
  1722.     case BT_HEX:
  1723.     case BT_DIGIT:
  1724.     case BT_NAME:
  1725.     case BT_MINUS:
  1726.       ptr += MINBPC(enc);
  1727.       break;
  1728.     default:
  1729.       return ptr - start;
  1730.     }
  1731.   }
  1732. }
  1733.  
  1734. static
  1735. const char *PREFIX(skipS)(const ENCODING *enc, const char *ptr)
  1736. {
  1737.   for (;;) {
  1738.     switch (BYTE_TYPE(enc, ptr)) {
  1739.     case BT_LF:
  1740.     case BT_CR:
  1741.     case BT_S:
  1742.       ptr += MINBPC(enc);
  1743.       break;
  1744.     default:
  1745.       return ptr;
  1746.     }
  1747.   }
  1748. }
  1749.  
  1750. static
  1751. void PREFIX(updatePosition)(const ENCODING *enc,
  1752.                 const char *ptr,
  1753.                 const char *end,
  1754.                 POSITION *pos)
  1755. {
  1756.   while (ptr != end) {
  1757.     switch (BYTE_TYPE(enc, ptr)) {
  1758. #define LEAD_CASE(n) \
  1759.     case BT_LEAD ## n: \
  1760.       ptr += n; \
  1761.       break;
  1762.     LEAD_CASE(2) LEAD_CASE(3) LEAD_CASE(4)
  1763. #undef LEAD_CASE
  1764.     case BT_LF:
  1765.       pos->columnNumber = (unsigned)-1;
  1766.       pos->lineNumber++;
  1767.       ptr += MINBPC(enc);
  1768.       break;
  1769.     case BT_CR:
  1770.       pos->lineNumber++;
  1771.       ptr += MINBPC(enc);
  1772.       if (ptr != end && BYTE_TYPE(enc, ptr) == BT_LF)
  1773.     ptr += MINBPC(enc);
  1774.       pos->columnNumber = (unsigned)-1;
  1775.       break;
  1776.     default:
  1777.       ptr += MINBPC(enc);
  1778.       break;
  1779.     }
  1780.     pos->columnNumber++;
  1781.   }
  1782. }
  1783.  
  1784. #undef DO_LEAD_CASE
  1785. #undef MULTIBYTE_CASES
  1786. #undef INVALID_CASES
  1787. #undef CHECK_NAME_CASE
  1788. #undef CHECK_NAME_CASES
  1789. #undef CHECK_NMSTRT_CASE
  1790. #undef CHECK_NMSTRT_CASES
  1791.